Backpropagation | Machine Learning | Pusan National University

출력층 미분∂L/∂w₂ = (s − y)h, ∂L/∂b₂ = s − y다.

은닉층으로 전달∂L/∂h = (s − y)w₂이고, ReLU′(z)를 곱해 ∂L/∂z를 얻는다.

갱신θ ← θ − η∇θL이며 역전파는 그래디언트만 계산한다.

출력의 오차 신호가 출력 가중치를 거쳐 은닉층으로 전달된다

XOR 관측을 바꾸면 순전파 값과 손실, 출력에서 은닉층과 입력 쪽 가중치로 돌아가는 미분값이 모두 다시 계산된다.

관측 (x, y)

원 안의 수는 순전파 값, 선 위 회색 수는 가중치, 선 아래 빨간 수는 그 가중치에 대한 손실의 미분이다. 회색 점선 테두리는 z ≤ 0이라 ReLU가 미분을 막은 은닉 유닛이다.

x = (1, 1), y = −1에서 학습률 η를 바꾸면 아홉 매개변수를 한꺼번에 갱신한 뒤의 출력 가중치와 손실이 바뀐다.

학습률 η 0.02

행은 매개변수와 손실이다. 갱신 뒤 값은 θ − η × 그래디언트이며 초록 칸이 갱신 뒤 손실이다. 강의 예는 두 출력 가중치만 갱신하지만, 여기서는 아홉 매개변수를 모두 갱신한다.